Le rôle des métriques d'évaluation dans le processus de recherche en TAL

نویسنده

  • Andrei Popescu-Belis
چکیده

Research in natural language processing (NLP) has both scientific and technological dimensions. In both cases, it is necessary to evaluate the implemented systems in order to assess the success of a study. This article, grounded in the ISO framework for software evaluation, introduces a typology of NLP systems based on the role of language as input or output data, in order to analyze the central role of evaluation metrics at several stages of the NLP research process. The article focuses on the evaluation metrics that compare the response of a system to a set of correct responses. The analysis of several evaluation examples, in particular the case of machine translation systems, shows the importance of a coherent choice of metrics and of the joint use of several metrics. The influence of the context of use on the set of metrics and the case of interactive systems are discussed as a conclusion. MOTS-CLÉS : systèmes de TAL, évaluation, normes ISO, caractéristiques de qualité, métriques

برای دانلود رایگان متن کامل این مقاله و بیش از 32 میلیون مقاله دیگر ابتدا ثبت نام کنید

ثبت نام

اگر عضو سایت هستید لطفا وارد حساب کاربری خود شوید

منابع مشابه

Rôle et techniques de l'alignement d'ontologies : un survol de l'état de l'art

Le besoin d’intégrer et d’analyser des grandes masses est présent dans de nombreux domaines d’applications. Le problème de l’alignement d’ontologies/schémas dont le résultat est un ensemble de correspondances entre différentes représentations du monde réel, est au centre du processus d’intégration des données. En effet, l’intégration de données est motivée par la forte hétérogénéité des données...

متن کامل

Le rôle de l'utilisateur dans un processus d'extraction de règles d'association

Résumé. De nombreux travaux ont porté sur l'extraction de règles d'association. Cependant, cette tâche continue à intéresser les chercheurs en fouille de données car elle soulève encore plusieurs défis. En particulier, son utilisation en pratique reste difficile : d'une part, le nombre de règles apprises est souvent très grand, d'autre part, le traitement des valeurs numériques dans cette tâche...

متن کامل

Inspiration nihiliste dans La Chouette aveugle de Sadegh Hedayat

La Chouette aveugle de Sadegh Hedayat, auteur iranien, qui appartient à la catégorie des œuvres dites « noires », se fonde sur une inspiration nihiliste. Malgré l’influence indéniable de la philosophie nihiliste dans la création de cette œuvre compliquée, il n’y a aucune étude cohérente qui traite ce sujet de différents points de vue. Ce qui est certain, c’est que Hedayat était un lecteur atten...

متن کامل

Articulation entre élaboration de solutions et argumentation polyphonique

RÉSUMÉ Cette analyse tente d'une part de montrer l'articulation entre l'expression des arguments exprimés en (dé)faveur de la demande de modifications et de la solution existante et la co-élaboration de nouvelles solutions, et d'autre part le rôle du processus de la polyphonie (« plusieurs voix »). … MOTS-CLÉS Pragma-dialectique, ergonomie de la conception, argumentation polyphonique 1. INTRODU...

متن کامل

ذخیره در منابع من


  با ذخیره ی این منبع در منابع من، دسترسی به آن را برای استفاده های بعدی آسان تر کنید

عنوان ژورنال:
  • TAL

دوره 48  شماره 

صفحات  -

تاریخ انتشار 2007